تاریخ مختصر صنعتی 

پروژه رایانه کولاسوس در ۱۹۴۴

ابررایانه‌هایی را که در دههٔ ۱۹۶۰ ساخته و ارائه شدند سیمور کری از بنگاه کنترل اطلاعات (CDC) طراحی کرده بود و تا دههٔ ۱۹۹۰ هم بازار در دست این سوپرکامپیوترها بود. زمانی که سیمورکری جدا شد و رفت تا شرکت خودش به نام تحقیقات سیمور را راه اندازی و اداره کند با طرح‌های جدیدش بازار سوپرکامپیوترها را در دست گرفت و تا پنج سال (۱۹۸۵-۱۹۹۰) یکه تاز بازار ابرمحاسبه بود. خود کری هرگز واژهٔ سوپرکامپیوتر را استفاده نکرد و کمتر کسی به خاطر دارد که او تنها کلمهٔ کامپیوتر را استفاده می‌کرد. در سال ۱۹۸۰ هم زمان با ظهور بازار مینی کامپیوترها که یک دهه قبل به وجود آمده بودند تعداد زیادی رقبای کوچک وارد بازار شدند. اما بسیاری از این‌ها در دههٔ ۱۹۹۰ با بروز مبارزات بازار سوپرکامپیوتر حذف شدند. امروزه سوپرکامپیوترها طراحی‌های سفارشی کم نظیری هستند که شرکت‌های صنعتی مثل IBM و hp تولید می‌کنند. همان شرکت هایی که بسیاری کمپانی‌های دههٔ ۹۰ را خریدند تا از تجربه شان استفاده کنند. البته بنگاه کری هنوز به صورت حرفه‌ای به ساخت سوپرکامپیوتر ادامه می‌دهد. اصطلاح سوپرکامپیوتر چندان پایدار و ثابت نیست. ممکن است سوپرکامپیوتر امروز فردا تبدیل به یک کامپیوتر معمولی شود. اولین دستگاه‌های CDC پردازنده‌های نرده‌ای (اسکالر) خیلی سریع بودند؛ ده برابر سریع تر از سریع‌ترین ماشین‌های سیر شرکت ها. در دههٔ ۱۹۷۰ اکثر سوپرکامپیوترها به انجام محاسبات برداری پرداختند و بسیاری رقبا و تولید کنندگان جدید پردازنده‌های خودشان را با قیمت پایین با همان روش کار به بازار ارائه کردند تا در بازار حاضر شوند. در ابتدا و میانهٔ دههٔ ۱۹۸۰ ماشین هایی با پردازنده‌های اندک برداری که به صورت موازی کار می‌کردند تبدیل به استاندارد شدند. هر ماشینی معمولاً چهارده تا شانزده پردازندهٔ برداری داشت. در اواخر دهٔ ۱۹۸۰ و ۱۹۹۰ مجددا توجه‌ها از پردازنده‌های برداری به سیستم‌های پردازندهٔ موازی معمول معطوف شد که هزاران ریزپردازنده معمولی داشتند و برخی از ان‌ها نمونه‌های آماده و برخی هم سفارش‌های مشتریان بودند (در اصطلاح کاری این را حملهٔ میکروهای کشنده می نامند). امروزه طرح‌های موازی بر اساس میکروپروسسورهای آمادهٔ نوع سرور ساخته می‌شوند از جمله power pc، Itanium، x۸۶-۶۴ و مدرن‌ترین سوپرکامپیوترها بسته (کلاستر)های کامپیوتری با تنظیمات دقیق هستند که پردازنده‌های کم حجم و رابط‌های داخلی سفارشی و بسته به مورد دارند.

ابزارهای نرم‌افزاری

ابزارهای نرم‌افزاری برای پردازش توزیع شده شامل APIهای استاندارد از جمله MPI، PVM و ابزارهای نرم‌افزاری متن باز ازجمله Beowulf، Warewulf، Open mosix هستند که ساختن یک سوپرکامپیوتر را از تعدادی سرورها یا واحدهای کاری ممکن می‌کنند. تکنولوژی هایی مثل ZerConf (Rendez-Vous/Bonjourقرار ملاقات/سلام) برای ساخت بسته‌های کامپیوتری موردنیاز برای نرم‌افزارهای تخصصی مثل shake اپل هستند. در علوم کامپیوتر هنوز یک زبان برنامه نویسی ساده برای ابرکامپیوترها نیست و موضوع خوبی برای تحقیق خواهد بود. برنامه‌های کاربردی هزاران دلار هزینه داشت اما امروزه به لطف جامعهٔ متن باز (که گاهی در این زمینه تکنولوژی‌های جالب توجهی به وجود می‌آورد) رایگان هستند.

استفاده‌های عمومی

سوپرکامپیوترها با رم‌ها و کار آیی‌های بسیاری که دارند معمولاً برای عملیات حساس روی محاسبه از جمله مسائل فیزیک وانتوم، هواشناسی، تحقیقات آب و هوا (از جمله تحقیق در مورد گرم شدن کرهٔ زمین) مدل سازی مولکولی (مطالعهٔ ساختارها و محتویات ترکیبات شیمیایی، ماکرومولکول‌های بیولوژیکی، پلیمرها و بلورها) شبیه سازی‌های فیزیکی (مثل شبیه سازی هواپیماها در تونل‌های هوا، شبیه سازی انفجار سلاح‌های هسته‌ای و تحقیق در مورد پیوست هسته ای) تحلیل مخفی و ... استفاده می‌شوند. دانشگاه‌های بزرگ، مراکز نظامی و آزمایشگاه‌های تحقیقات علمی بزرگ‌ترین کاربران آن هستند. نوع خاصی از مسائل به نام مسائل بسیار مشکل، مسائلی که حل کامل شان نیازمند منابع کامپیوتری نیمه بی پایان هستند. یک مطلب قابل توجه در این مقال تفاوت بین محاسبهٔ، توانایی محاسبه و ظرفیت است چنان که گراهام و همکارانش بررسی کرده اند. محاسبهٔ توانایی یعنی استفاده از ماکزیمم توان محاسبه برای حل یه مسئلهٔ بزرگ در کم‌ترین زمان. این سیستم اغلب می‌تواند مسئلهٔ را با حجم و پیچیدگی که هیچ کامپیوتر دیگری نمی‌تواند حل کند حل نماید. اما محاسبهٔ ظرفیت یعنی استفاده از توان محاسبهٔ مقرون به صرفه و کارآمد برای حل مسائل کم و بیش بزرگ یا تعداد زیادی مسائل کوچک یا آمادگی برای اجرا روی سیستم توانایی استفاده می‌شود.

طراحی سخت‌افزار و نرم‌افزار 

سوپرکامپیوتر هایی که پردازنده‌های سفارشی داشتند قبلا سرعتی که روی کامپیوترهای معمولی داشتند را از طراحی‌های ابتکاری شان به دست می‌آوردند که اجازه می‌داد مثل یک مهندسی به هم پیچیده چند کار را به صورت موازی انجام دهند. آن‌ها را تنها برای انواع مشخصی از محاسبات مثل محاسبات عددی استفاده می‌کردند و در محاسبات کلی تر کامپیوتری ضعیف عمل می‌کردند. سلسله مراتب حافظهٔ آن‌ها به دقت طراحی می‌شد تا دائما اطلاعات و دستور العمل در دسترس پردازنده قرار گیرد. در اصل عمده‌ترین تفاوت بین سوپرکامپیوترهاو کامپیوترهای کندتر در سلسله مراتب حافظه شان است. سیستم ورودی/خروجی آنها برای پهنای باندهای بالا با توقف (latency) بسیار پایین طراحی شده است چرا که اساسا ابرکامپیوترها برای پردازش انتقالات طراحی نشده اند. در این جا هم مثل هر سیستم موازی قانون آمدال صدق می‌کند. طراحی‌های مختلف سوپرکامپیوترها برای حذف تتابع (serialization) نرم‌افزارها تلاش بسیاری می‌کنند و برای رفع مشکلات و تنگناهای باقی مانده و تسریع آن‌ها از سخت‌افزار استفاده می‌کنند.

تکنولوژی‌ها و دشواری‌های سوپرکامپیوترها 

یک کلاستر بیوولف

• یک سوپرکامپیوتر گرمای زیادی تولید می‌کند و باید خنک شود. خنک کردن بسیاری سوپرکامپیوترها مسئلهٔ بسیار بزرگی برای HVAC است.
• اطلاعات نمی‌توانند با سرعتی بالاتر از سرعت نور بین دو بخش کامپیوتر جابجا شوند. به همین دلیل یک سوپرکامپیوتر چندمتری (با عرض چندمتر) باید توقف (latency) بین قطعاتش در حد چند ده نانوثانیه باشد. به خاطر همین مشکل طراحی‌های سیمور کری کوشیدند در حد امکان از طول کابل‌های کمتراستفاده کنند شکل استوانهٔ کری هم به همین ترتیب به وجود آمد. در سوپرکامپیوتر هایی که تعداد بسیار زیادی cpu دارند که موازی هم کار می‌کنند برای فرستادن پیام بین پردازنده‌ها توقف یک تا پنج میکرو ثانیه معمول است.
• برای فرستادن پیام بین پردازنده‌هاها حجم بسیار بالای اطلاعات را در مدت زمان کوتاه مصرف و تولید می‌کنند. کن بچر می‌گوید : برای فرستادن پیام بین پردازنده‌ها وسیله‌ای است که مسائل محدود به محاسبه را محدود به I/O می‌کند. برای حصول اطمینان از انتقال سریع و ذخیرهٔ و بازیابی صحیح اطلاعات باید روی پهنای باند ذخیرهٔ خارجی کار زیادی انجام بدهیم.

تکنولوژی‌های تولید شده برای سوپرکامپیوترها شامل این‌ها می‌شوند:

• پردازش برداری
• خنک کنندگی مایع
• دسترسی ناهمشکل به حافظه (NUMA)
• دیسک‌های راه راه (اولین نمونه از آنچه بعدها نامش RAID شد)
• فایل سیستم‌های موازی

تکنیک‌های پردازش

تکنیک‌های پردازش برداری اوائل برای سوپرکامپیوترها طراحی و ایجاد شده اند و برای کاربردهای سطح بالا و تخصصی استفاده می‌شوند. این تکنیک‌ها به وفور وارد بازار معماری DSP و راهکارهای پردازش SIMD کامپیوترهای همه منظوره هم شده اند. خصوصا کنسول‌های جدید بازی‌های کامپیوتری از SIMD خیلی استفاده می‌کنند و به این دلیل است که برخی تولیدکنندگان ادعا می‌کنند ماشین‌های بازی شان سوپرکامپیوتر هستند. واقعیت این است که برخی کارت‌های گرافیک توان محاسبهٔ چندین ترافلاپ (teraFLOP) را دارند. اولین پردازش‌های کامپیوتری طبیعتی داشت که هدف خاصی را دنبال می‌کرد و کاربردهایی که می‌توان برای این قدرت داشت را محدود می‌کرد با پیش رفته تر شدن بازی‌های کامپیوتری واحدهای پردازش گرافیکی (GPUها) متحول شده است به عنوان پردازنده‌های برداری همه منظوره مفیدتر شده اند و یک دیسیپلین کامل علوم کامپیوتری به وجود آمد تا از این توانایی استفاده کند به نام محاسبه‌های همه منظوره بر واحدهای پردازش گرافیکی(GPGPU).

سیستم‌عامل

سیستم‌عامل سوپرکامپیوترها که اغلب امروزه انواعی از لینوکس و یونیکس هستند و اگر پیچیده تر از ماشین‌های کوچک تر نباشند همان قدر پیچیده هستند. ظاهری که کاربر می بیند ساده تر است چون سازندگان OSها منابع برتامه نویسی کمتری برای سرمایه گذاری بر بخش‌های غیرضروری OSها (یعنی بخش هایی که مستقیما به بهترین کاربرد سخت‌افزار نمی‌شود) دارند. دلیل اصلی آن این است که این کامپیوترها میلیون‌ها دلار قیمت دارند اما بازار خریدشان بسیار کوچک است لذا بودجه‌های R&D شان اغلب محدود است. وجود یونیکس و لینوکس اجازه می‌دهد ظاهر کاربرد (user interface) نرم‌افزار دسکتاپ معمولی دوباره مورد استفاده قرار بگیرد. جالب آنجا ست که در تاریخ صنعت سوپرکامپیوترها این روند هم چنان ادامه پیدا کرده است و رهبران قدیمی این تکنولوژی از جمله Silicon Graphics در برابر امثال nVIDIA عقب نشسته اند چرا که این‌ها می‌توانند محصولات ابتکاری ارزان و پرفایده و پرکاربرد را به لطف مشتریان بسیارشان که R&D آن‌ها را تامین می‌کنند تولید نمایند. از نظر تاریخی تا ایتدا و میانهٔ دههٔ سوپرکامپیوترها اغلب سازگاری گروه دستورات و قابلیت جابجایی کدها را فدای عملکرد و سرعت پردازش و دست رسی به حافظهٔ کامپیوتر می‌کردند. اغلب سوپرکامپیوترها تا به امروز برخلاف کامپیوترهای گران قیمت فنی high end main frames سیستم‌های عامل بسیار متفاوتی دارند. Cray-۱ به تنهایی شش OS مخصوص خودش را داشت که جامعهٔ کامپیوتر هیچ خبری از آن‌ها نداشت. مشابه آن کامپایلرهای برداری کننده و مواز یکنندهٔ بسیاری هم برای فرترن موجد بود. اگر به خاطر سازگاری گروه دستورات اولیه بین Cray-۱ و Cray x-mp و پذیرش انواع OSهای یونیکس مثل CrayUnicos و لینوکس نبود این اتفاق برای ETA-۱۰ هم می افتاد. به همین دلیل در آینده سیستم هایی با بالاترین کاربرد احتمالا رنگ و بویی از یونیکس خواهند داشت اما با خاصیت‌های مخصوص سیستم ناسازگار خصوصا برای سیستم‌های بسیار فنی و گران قیمت با امکانات امن مطمئن.

برنامه نویسی

معماری موازی سوپرکامپیوترها ایجاب می‌کند تکنیک‌های برنامه نویسی خاصی برای سرعت بالایشان استفاده شود. کامپایلرهای هدفمند فرتران معمولاً می‌توانند کدهای سریع تری از C یا C++ تولید کنند. به این دلیل فرتران همچنان بهترین انتخاب برای برنامه نویسی علمی و البته برای اکثر برنامه‌هایی که روی سوپرکامپیوترها جرا می‌شود باقی می ماند. برای بهره وری از موازی بودن سوپرکامپیوترها، محیط‌های برنامه نویسی خاصی برای برنامه نویسی آن‌ها استفاده می‌شود از جمله برای بسته‌های کامپیوتری پراکنده و دور از هم PVM و MPI و برای ماشین‌های حافظه اشتراکی بسیار نزدیک به هم OpenMP استفاده می‌شود.

معماری سوپرکامپیوتر مدرن

چنان که در فهرست نوامبر ۲۰۰۶ می بینیم ده کامپیوتر برتر فهرست پانصد کامپیوتر برتر (و البته بسیاری کامپیوتر دیگر در این لیست) معماری سطح بالا اما مشابهی دارند. هر کدام مجموعه‌ای از مولتی پروسسورهای تماما SIMD هستند. هر سوپرکامپیوتری بسته به تعداد مولتی پروسسورهای مجموعه، تعداد پروسسورهای هر مولتی پروسسور و نیز تعداد عملیاتی که می‌تواند به صورا هم زمان در هر پروسسور SIMD انجام بدهد از سایر سوپرکامپیوترها متفاوت می‌شود. در این سلسله چنین چیزهایی داریم :

• یک مجموعه کامپیوتری که کامپیوترهای آن از طریق شبکهٔ سرعت بالا یا شبکهٔ تعویض (switching fabric) اتصال بسیار مفصلی با هم دارند. هر کامپیوتر هم تحت نمونهٔ مجزایی از OS کار می‌کند.
• کمپیوتر مولتی پروسسور کامپیوتری است که تحت OS مشخصی کار می‌کند و بیش از یک CPU دارد و در آن نرم‌افزار سطح عملکرد از تعداد پروسسورها مستقل است. وظایفی مثل مولتی پروسسینگ متقارن (SMP) و دسترسی غیرهمشکل به حافظه (NUMA) را با هم انجام می‌دهند.
• یک پروسسور SIMD یک دستور را بر چندین دسته اطلاعات به صورت هم زمان اجرا می‌کند. پردازنده می‌تواند چندمنظوره یا برداری با کاربرد خاص باشد. سطح عملکرد هم می‌تواند بالا یا پایین باشد.

طبق بررسی ماه نوامبر سال ۲۰۰۶ قانون مور (Moore) و اقتضا مقیاسی (economy of scale) فاکتور اصلی در طراحی سوپرکامپیوترها هستند. یک PC دسکتاپ مدرن امروزه قوی تر از یک سوپرکامپیوتر پانزده سال پیش است و این طراحی هایی که سابقا اجازه می‌داد سوپرکامپیوترها از ماشین‌های دسکتاپ بهتر عمل کنند در طراحی PCها استفاده می‌شوند. به علاوه هزینه‌های ایجاد تراشه‌ها (چیپchip) باعث می‌شود طراحی تراشه‌های سفارشی برای کاربرد محدود مقرون به صرفه باشد بلکه تولید انبوه تراشه‌ها را تایید می‌کند که مشتری داشته باشند و هزینهٔ تولید را پوشش بدهد. یک واحد کاری مدل هسته چهارگانه Xeon با عملکرد GHz۲٫۶۶ از یک سوپرکامپیوتر C۹۰ کری چند میلیون دلاری که در دههٔ ۱۹۹۰ استفاده می‌شد بهتر است و حجم بسیار بالایی از کار که در دههٔ ۱۹۹۰ به چنین سوپرکامپیوتری نیاز داشت امروزه با یک واحد کاری کمتر از ۴۰۰۰ دلاری انجام می‌شود. مسایلی که سوپرکامپیوترها آن‌ها را حل می‌کردند اکثرا باید موازی سازی می‌شدند (یعنی تقسیم کار بزرگ به چند کار کوچک تر برای انجام هم زمان) آن هم به قطعات بزرگ تا حجم اطلاعاتی که بین واحدهیای پردازندهٔ مستقل انتقال پیدا یم کرد کاهش پیدا کند. این است که می‌توان به جای بسیاری سوپرکامپیوترهای سنتی از بسته‌های طراحی استاندارد بهره برد که با برنامه ریزی قابلیت عملکرد یگانه و همگرا را دارند.

سوپرکامپیوترهای هدفمند و دارای کاربرد خاص 

ابررایانه بلو جین، محصول آی بی ام در آزمایشگاه ملی آرگون

سوپرکامپیوتر هدفمند ابزارهای محاسباتی با عملکرد بسیار سطح بالا و معماری سخت‌افزاری مناسب حل یک مسئلهٔ خاص هستند. می‌توان در آن‌ها از تراشه‌های FPGA برنامه ریزی شده یا چیپ‌های VLSI سفارشی استفاده نمود که عمومیت شان را از دست می‌دهند اما در عوض نسبت قیمت به کاربرد بالاتری ارائه می‌دهند. از آن‌ها برای محاسبات نجومی و کد شکنی‌های بسیار قوی استفاده می‌شود. پیش آمده است که یک سوپرکامپیوتر هدفمند جدید از برخی نظرها از سریع‌ترین سوپرکامپیوتر وقت سریع تر عمل کند مثلا GRAPE-۶ که در سال ۲۰۰۲ در برخی مسائل سریع تر از شبیه ساز زمین عمل کرد. مثال هایی از سوپرکامپیوتر هدفمند

• DEEP BLUE برای بازی شطرنج
• ماشین‌ها یا ابزار و قطعات ماشین‌های محاسیبهٔ قابل پیکربندی مجدد
• GRAPE برای فیزیک نجوم و دینامیک مولکول
• DEEP CRACK برای رمزشکنی DES

سریع‌ترین سوپرکامپیوتر روز

محاسبهٔ سرعت سوپرکامپیوتر 

سرعت سوپرکامپیوتر بر اساس FLOPS محاسبه می‌شود که مخفف عملیات دقیق شناور در هر لحظه می‌باشد و معمولاً هم یک پسوند SI مثل ترا یا پتا با آن است. در حالت ترا بودن آن را TFLOPS ترافلاپ ده به توان ۱۲ FLOPو در حالت پتا بودن PFLOPS پتافلاپ ده به توان پانزده می‌گویند. این محاسبهٔ بر اساس مقیاسی که مارتیس بزرگ را تجزیه ی(LU decomposition می‌کند صورت می‌گیرد. این نمونه مسائل حقیقی را بررسی می‌کند اما خیلی راحت تر از محاسبهٔ مسائل دنیای واقعی است.

فهرست پانصد عنوان برتر

از سال ۱۹۹۳ نتایج LINPAK پانصد سوپرکامپیوتر سریع دنیا را همواره رتبه بندی نموده است. البته ادعا نمی‌شود این فهرست کاملا بی ایراد است اما بهترین از سرعت کامپیوتر را در هر زمان دارد.

سریع‌ترین سوپرکامپیوتر فعلی

IBM Sequoia سریعترین سوپر کامپیوتر دنیاست، رکوردی که قبلا در اختیار یک سوپر کامپیوتر فوجیتسو ژاپنی بود که هم اکنون در رتبه دوم قرار گرفته است. IBM Sequoia در بخش آزمایشگاه ملی انرژی لارنس لیورمور آمریکا در کالیفرنیا قرار دارد و برای انجام شبیه سازی های مربوط به سلاح های هسته ای استفاده خواهد شد.

سوپر کامپیوتر Sequoia حدود ۱.۵۵ برابر سریعتر از رکورد قبلی است که در اختیار سوپر کامپیوتر ژاپنی بوده است. از نظر انرژی نیز این سوپر کامپیوتر انرژی کمتری نسبت به مدل ژاپنی مصرف می کند، این کامپیوتر ۷.۹ مگاوات انرژی مصرف می کند در صورتیکه سوپر کامپیوتر فوجیتسو ۱۲.۶ مگاوات انرژی مصرف می کند که این موضوع نشان دهنده بازدهی بالاتر آن می باشد. ^[۱]

ابر شبه محاسبه (کازی سوپر کامپیوتینگ quasi super computing)

برخی انواع محاسبات توزیع شدهٔ مقیاس وسیع برای مسائل بسیار موازی سازی شده را می‌توان اوج ابرمحاسبهٔ دسته بندی شده نامید. مثلا پلتفرم BOINC (که میزبان تعدادی پروژهٔ محاسبهٔ توزیع شده هستند) در بیست و هفتم مارس سال ۲۰۰۷ از طریق ۱۷۹۷۰۰۰ کامپیوتر اضافه روی شبکه بالای ۵۳۰٫۷ ترافلاپ سرعت عملکرد به ثبت رساند. سریع‌ترین پروژه بود SETI@home که با ۱۳۹۰۰۰۰ کامپیوتر اضافه ۲۷۶٫۳ ترافلاپ کار می‌کرد. یک پروژهٔ توزیع شدهٔ دیگر Folding@home بود که در اواخر سپتامبر ۲۰۰۷ قدرت عملکرد برابر ۱٫۳ پتافلاپ گزارش داد. مشتریانی که از پلی استیشن استفاده می‌کنند از توان محاسبهٔ بالا ۱ پتافلاپ استفاده می‌کنند. تحقیق Mersenne Prime توزیع شدهٔ GIMP تا اکتبر ۲۰۰۷ قدرت برابر ۲۳ ترافلاپ به ثبت رسانده اند. سیستم موتور جستجوی گوگل با ۱۲۶ تا ۳۱۶ ترافلاپ احتمالا سریع‌ترین باشد.

تحقیق و توسعه 

در نهم سپتامبر سال ۲۰۰۶ دفتر مدیریت امنیت هسته‌ای ملی انرژی آمریکا (NNSA) IBM را برای طراحی و ساخت اولین سوپرکامپیوتر دنیا انتخاب کرد. سیستمی که برای تولید ماشینی پردازندهٔ موتور پنهای باند سلولی (cell BE) ماشینی با توان پایستهٔ یک پتافلاپ یا یک هزار تریلیون محاسبه در ثانیه بسازد. پروژهٔ دیگری که IBM به آن مشغول است ساخت Cyclops۶۴ است که قرار است روی یک تراشه یک سوپرکامپیوتر نصب کند. دکتر کارمارکار در هند پروژه‌ای را برای ساخت سوپرکامپیوتر یک پتافلاپی رهبری می‌کند. CDAC هم در حال ساخت رهبری می‌کندی است که تا سال ۲۰۱۰ بتواند به یک پتافلاپ برسد. NSF هم پروژه‌ای بیست میلیون دلاری برای ساخت یک سوپرکامپیوتر یک پتافلاپی در دست دارد. NCSA هم در دانشگاه ایلینویز اوربانا شامپاین مشغول چنین پروژه‌ای است و برآورد می‌شود تا سال ۲۰۱۱ آن را تکمیل کند.

نظرات شما عزیزان:

persian.girl

ساعت14:50---8 مرداد 1391

[وب سایت] - [ایمیل]

____ ♣♣♣_____________♣♣♣
_ ♣♣♣____♣♣______♣♣ ____ ♣♣♣
♣♣_______♣♣_____♣♣ _______ ♣♣
♣___________♣___♣ __________ ♣
♣____________♣_♣ ___________ ♣
_ ♣____________♣ ___________ ♣
__ ♣________ ----------------------♣
____ ♣ ____اپم بدو بیا_______ ♣
______ ♣ ______________ ♣
________ ♣ __________ ♣
__________ ♣ ______ ♣
_______ ♣_♣__♣ __ ♣__♣_♣
______ ♣____♣__♣__♣____♣
_______ ♣_____♣♣_♣____♣
_________ ♣_♣__♣♣__♣
____________ ♣♣
_________________ ♣♣
_____زودی بیا________ ♣♣
___به سوال جواب بدیا_____

j.lo

ساعت12:25---8 مرداد 1391

[وب سایت]

سلامم
مررررسی که لینک کردی ولی من از وبت خوشم نیومد میدونی خیلی ساده هس یک قالب خوشگل انتخاب کن و همه رو هم که گذاشتی در ادامه ی مطلب ببینیم اگه نریم ادامه ی مطلب هیچی وبت نداره تا آدم میاد میخواهد زود بره
امیدوارم ناراحت نشوی

persian.girl

ساعت12:43---7 مرداد 1391

[وب سایت] - [ایمیل]

سلام وبلاگ خیلی قشنگی داری.بالاخره علت درس نخواندن دانشجویان کشف شد.اگه دوست داری بخندی و دلیلشو بدونی بهم یه سر بزن.اگه دوست داشتی منو لینک کن و تو قسمت نظرات بگو با چه اسمی لینکت کنم.مرسی

نام :

آدرس ایمیل:

وب سایت/بلاگ :

متن پیام:

نظر خصوصی

 کد را وارد نمایید:

 

 

 

عکس شما

آپلود عکس دلخواه: